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Verfahren zur Bildregistrierung 





Die Erfindung betrifft ein Verfahren zu Bildregistrierung, also zxir Korrektur von geometri- 
schen Differenzen in unterschiedlichen Darstellungen eines Objektes. Diese Verfahren spielen 
z.B. in der Medizintechnik und insbesondere bei der Analyse von GewebeverSnderungen im 
Rahmen der Krebsfriiherkennung eine wichtige RoUe. 

Es sind bereits Verfahren bekannt, die eine Bildregistrierung aufgrund eines Distanzkriteri- 
ums durchfilhren (Lisa Gottesfeld Brown: A survey of image registration techniques. ACM 
Computing Surveys, 24(4): 325-376, 1992, Jan Modersitzki: Numerical Methods for Image 
Registration. Habilitation, Insitute of Mathematics, University of Lubeck, Germany, 2002). 
Die allgemeine Methodik basiert auf der Optimierung einer anwendungskonform zu wShlen- 
den Zielfunktion, die typischerweise auf Bildintensitaten basiert. Bei derartigen Verfahren 
werden auBer der Bildinformation keine weiteren Kenntnisse zur Registrienmg herangezogen. 
Das Ergebnis der Registrienmg ist nur im Sinne einer globalen Mittelung optimal. Kommen 
in einer Anwendung speziellen^ charakteristischen Punkten (wie z.B, in medizintechnischen 
Anv^endimgen den sogenanuQten anatomischen Landmarken) eine besondere Bedeutung zu, 
sind diese Verfahren also nicht empfehlenswert. 

Neben der Bildregistrierung auf der Basis eines Distanzkriteriums sind auch Verfahren be- 
kannt, die die Bildregistrierung ausschlieBlich auf der Basis von KontroUpunkten durchfuhren 
(Karl Rohr: Landmark-based Lnage Analysis. Computational Ltnaguig and Vision. Kluwer 
Academic Publishers, Dordrecht, 2001). Bei diesen Verfahren werden den zu registrierenden 
Ansichten prospektiv oder retrospektiv korrespondierende Kontrollpunkte assoziiert, die dann 
mittels Registrierung zum Abgleich gebracht werden. Der Nachteil dieser Verfahren besteht 
darin, dass die Registrierung ausschliefilich Kontrollpunkte benicksichtigt. Weitere Bildin- 
formationen wie z.B. Bildintensitaten konnen bei diesen Verfahren nicht benicksichtigt wer- 
den. Bei unbefiriedigenden Registrierungsergebnissen kann ein Anwender nur versuchen, das 
Ergebnis durch geschicktes Einftgen weiterer Kontrollpunkte zu verbessem. Das Einfugen 
weiterer KontroUpimkte basiert auf subjektivem Ausprobieren. Hierzu gibt es keine 
Richtlinien und insbesondere kein automatisiertes Vorgehen. 



2 



Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Bildregistrierung zu entwickeln, 
das zu einer perfekten, garantierbaren Korrespondenz einer Anzahl vorgegebener 
Kontrollpunkte ftihrt, als auch zu einem im Sinne des Distanzkriterium optimalen Ergebnis. 

Diese Aufgabe wird erfindungsgemafi gelost durch iterative Bestimmung einer hinsichtlich 
eines vorgegebenen Distanz- und Glattheitskriteriums optimalen Transformation, bei dem in 
den Bildem korrespondierende Kontrollpunkte garantierbar aufeinander abgebildet werden, 
durch (1) Initialisieren eines Iterationszahlers und des initialen VerrQckungsfeldes, (2) Be- 
stimmen der numerischen Lfisungen der nicht-linearen partiellen Differentialgleichimg (PDE) 
mit dem aus einem vorgegebenen Glattheitskriterium ableitbarem Differentialoperator und 
den an vorgegebenen KontroUpunkten lokalisierten Pimktauswertefunktionalen, (3) Zusam- 
menfassen der Interpolationsbedingungen, (4) Berechnen einer speziellen numerischen L6- 
simg der PDE mit der auf der Basis des Distanzkriteriums und des aktuellen Verrticksfel- 
des bestimmten Kraft und dem aus dem Glattheitskriterium abgeleiteten Differentialoperator, 
(5) Auswerten der speziellen Losxmg an den KontroUpimkten, (6) Bestimmen der Koeffizien- 
ten zur Berechnung einer aktualisierten Verriickung, (7) Aufdatieren des Vernickungsfelds 
und Erhohen des Iterationszahlers, (8) Uberprufen der Verriickung auf Konvergenz xmd (9) 
bei Nichterfullen des Konvergenzkriteriums emeutes Durchlauf der Schritte (4) bis (8). 

Der Verfahrensablauf wird durch das Flussdiagramm der Figur 1 beschreibend abgebildet. 

Zur Vereinfachung bezeichnen wir eine Ansicht als Referenzbild (Referenz R) und eine wei- 
tere, zu korrigierende Ansicht als Template (Template T). Formal handeh es sich hierbei irai 
I Funktionen eines ^/-dimensionalen reellen Raumes bzw. einer Teilmenge Q c R'' in die Men- 
ge der reellen Zahlen. Jedem <3?-dimensionalen Punkt xeSl wird also durch i?(x)und 
T(x) ein Wert zugewiesen, der z.B. als Farb- oder als Grauwert interpretiert werden kann. 

In praktischen Anwendungen - insbesondere bei jeder Programmierung des hier erlauterten 
Verfahrens - konnen Referenz und Template m diskreter Form vorliegen. Die Bilder sind 
dann Funktionen auf einem Gitter (z.B, Q = {l,...,w,}x {l,...,/i2} filr die Dimension d = 2)m 
eine diskrete Menge (z.B. in die Menge {0,...,255}) und kOiuien als aus Pixeln aufgebaut in- 
terpretiert werden, Fiir das Registrierungsverfahren sind diese Einschrankungen und insbe- 
sondere die konkrete Art der Diskretisierung unerheblich und unwesentlich. Die Einschran- 
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kungen werden lediglich zum Zwecke einer vereinfachten Beschreibung vorgenommen. Das 
Verfahren lasst sich analog auf beliebige fl?-diinensionale DatensStze anwenden. 

Die Aufgabe der Bildregistrierung besteht in der Bestimmung einer Verruckiingsfunktion z/, 
so dass die Forderung R(x) = (x) mit der Abktirzung T„ (x) T{x - w(x)) ftir alle x e Q 

moglichst gut erflxllt wird. Zur Berechnung des durch u deformierten Ten^iplates wird bei 

diskret vorgegebenen Bildem wie in der Bildverarbeitung allgemein tiblich eine Interpolation 
(z.B. ^/-linear) durchzufiihren sein, da die vernickten Koordinaten x-m(x) nicht notwendig 
auch auf dem diskreten Gitter liegen miissen. Wie eine solche Interpolation erifolgt, ist ftir das 
Registrierungsverfahren nicht wesentlich. 

Ober die oben formulierte Ahnlichkeit hinaus miissen sowohl Forderungen an die Glattheit 
der Verrilckung gestellt werden sowie an Abbildungseigenschaften in Bezug auf eine Anzahl 
von vorab gewShlten Kontrollpunkten. Im einfachsten Fall soUen die Koordinaten jedes der m 
KontroUpunkte K'^*^ des Templates auf den jeweils korrespondierenden KontroUpunkt K^*^ 
der Referenz abgebildet werden, y = l,...,m. Stimmen die Koordinaten der KontroUpimkte 
bereits uberein, was ggf. durch eine Vorregistrierung gewahrleistet werden kann, so gilt also 
M = 0 in diesen Punkten. 

Wie bei Optimierungsproblemen ilblich kaim die Bestimmung eines Minimierers des oben 
genannten Distanzkriteriums mittels eines Gradientenabstiegsverfahren in iterativer Weise 
erfolgen. Im Prinzip kann hierbei jedes beliebige Distanzkriterium gewShlt werden. Die den 
gangigen Distanzkriterien assoziierten KrHfte finden sich in der Literatur (Modersitzki 2002), 
Die konkrete Art der Berechnung dieser Krafte ist filr das Registrierungsverfahren jedoch 
nicht wesentlich. 

Als Glattheitskriterium kann wiederum prinzipiell jedes aus der Literatur bekannte Funktional 
genutzt werden. Aus dem Glattheitskriteriimi IJlsst sich ein partieller Differentialoperator A 
ableiten. Ftir die in der Literatur verwendeten Kriterien sind diese Operatoren bekannt (Mo- 
dersitzki 2002). Die gesuchte Verriickxmg u lasst sich dann als Losimg einer nicht-linearen 
partiellen Differentialgleichung (PDE) charakterisieren. 

Zur Bestimmung einer numerischen Losung dieser PDE verwenden wir eine finite Differen- 
zen Approximation des Differentialoperators, die dann auf ein Gleichungssystem fur die Git- 
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terwerte der Verriickung fiihrt. Die konkrete Diskretisierung der Differentialgleichung ist je- 
doch fiir das Registrierungsverfahren ohne Bedeutung. 

Diese Vorgehensweise deckt sich mit dem Verfahren fur die ausschlieUlich auf dem Distanz- 
kriterium und dem Glattheitskriterium basierende Methode. Der neue Aspekt besteht in einer 
geeigneten Einbindung der vorgegebenen KontroUpunkte in die Berechnung der Verriickung, 
bei der eine Korrespondenz der Kontrollpxmkte garantiert werden kann. Da bereits Verfahren 
zur Bestimmung der Verriickung auf der Basis des Distanz- und des Glattheitskriteriums be- 
kannt sind, geben wir ein Verfahren an, welches TeillOsungen in geeigneter Weise zu einef 
Gesamtlosung kombiniert, z.B. als 

u, (jc) = V? (x) + Y^^'jvi (X) , X e Q , 1,..., d . 

Bezeichnet^ den zum Glattheitsterm gehOrigen Differentialoperator und / das zum Distanz- 

kriterium gehSrige Kraftfeld, dann ist eine numerische Ldsung von Av^ = -/ , die Funk- 

tionen sind numerische Losungen der distributionellen PDE Av^ 7=l,.-,.7w wobei 

das Punktauswerteftinktional (Dirac-StoB) lokalisiert am Kontrollp\xnkt K^'-^ bezeichnet. 
Die konkrete numerische Methode fiir die Losung der PDE ist fiir das Registrierungsverfahren 
unerheblich. 

Aus mathematischer Sicht sind die v^,/ = l,,..,/?2 Greensche Funktionen des Differentialope- 
rators A, die eine LOsxmg der PDE bei vorgegebener Einzelpunktverriickung darstellen. Eine 
geeignete Linearkombination dieser Greenschen Funktionen stellt daher sicher, dass bei dem 
|Gesamtverfahren alle KontroUpunkte wie gefordert aufeinander abgebildet werden. 

Die Funktion v*^ wird tiber ein iteratives Verfahren so bestimmt, dass das Distanzkriterium 
unter Einhaltung der geforderten Glattheit minimiert wird. Die Gewichtsfaktoren Xj werden 
dabei so angepasst, dass die KontroUpunkte in der geforderten Weise abgebildet werden. 

Die Initialisierung des Programms erfordert die Wahl eines Distanz- und eines Glattheitskrite- 
riums bzw. der aus diesen Kriterien ableitbaren Kraft und des Dififerentialoperators. Auf der 
Basis der an den Kontrollpunkten lokalisierten Punktauswertefimktionale kdnnen dann die 
Greenschen Funktionen v^,7 = mit einem nimierischen Verfahren bestinunt werden. 

Diese werden im weiteren Verlauf des Verfahrens nicht mehr geandert. 
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Der erfindungsgemaiJen Initialisierung folgt eine gSngige Iterationsprozedur, in deren Verlauf 
ein Gradientenabstieg unter Berucksichtigung der KontroUpunkte durchgeftihrt wird. Mensch- 
liches Eingreifen ist nicht von Noten. Das beschriebene Verfahren kombiniert also die Vortei- 
le der auf Distanzkriterien basierenden Methoden (also insbesondere die Automatisierbarkeit 
und eine im Mittel optimale Registrierung) mit denen des KontroUpunktverfahrens (garan- 
tierte Registrierung ausgezeichneter Punkte) und liefert bei Vorgabe eines initialen Satzes von 
KontroUpunkten reproduzierbare, optimale Ergebnisse unabhSngig vom Anwender bzw, 
Computerprogranun. Die Details des Computercodes spielen flir das Endergebnis der Bildre- 
gistrierung keine wesentliche Rolle und beeinflussen nur die benStigte Rechenzeit und die 
Speicheranforderungen. 
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AnsprUche 

1. Verfahren zur Registrienmg von Bildem durch iterative Bestimmung einer hinsichtlich 
eines vorgegebenen Distanz- und Glattheitskriteriums optimalen Transformation, 

dadurch gekennzeichnet, dass 

in den Bildem korrespondierende KontroUpunkte garantierbar aufeinander abgebildet werden, 
durch 

(1) Initialisieren eines Iterationszahlers und des initialen Verrttckungsfeldes, 

(2) Bestimmen der numerischen LSsungen der nicht-linearen partiellen Differential- 
gleichung (PDE) mit dem aus einem vorgegebenen Glattheitskriterium ableitbarem 
Differentialoperator und den an vorgegebenen KontroUpunkten lokalisierten Punkt- 
auswertefunktionalen, 

(3) Zusammenfassen der Interpolationsbedingungen, 

(4) Berechnen einer speziellen numerischen Ldsung der PDE mit der auf der Basis des 
Distanzkriteriums xmd des aktuellen Verrtlcksfeldes bestimmten Kraft und dem aus 
dem Glattheitskriterium abgeleiteten Differentialoperator, 

(5) Auswerten der speziellen Ldsung an den KontroUpimkten, 

(6) Bestimmen der Koefifizienten zur Berechnung einer aktualisierten Verruckung, 

(7) Aufdatieren des Verrixckungsfelds und Erhohen des Iterationszahlers, 

(8) Oberprufen der Verrtickimg auf Konvergencz imd 

(9) bei NichterfttUen des Konvergenzkriteriums emeuten Durchlauf der Schritte (4) bis 
(8). 
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2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass es sich bei den zu registries 
renden Bildem um digitale Bilder, Pixel, JPEG, wavelet basierte Objekte oder akkustische 
Signale handelt. 

3. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekemizeichnet, dass ein- 
zwei- Oder drei-dimensionale sowie Sequenzen von ein-, zwei- und drei-dimensionalen Ob- 
jekten registriert werden. 

4. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass die 
KontroUpunkte anatomische Landmarken, fiducial marker oder andere charakteristische 
Kenngrofien darstellen. 

5. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass die 
KontroUpunkte manuell, halb-automatisch oder voll-automatisch eingegeben werden. 

6. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass das 
Distanzkriteriimi intensitats-, Kanten-, Ecken-, Oberflachennormalen- oder Level-Set basiert 
Oder auf der Sum of Squared Differences, L^-Distanz, Korrelation, Varianten der Korrelation, 
Mutual-Information oder Varianten der Mutual-hiformation beruht. 

7. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass die 
dem DistanzmaB assoziierten Kraftterme uber fmite Differenzen Verfahren oder Gradienten- 

I bildung berechnet werden. 

8. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass das 
verwendete Glattheitskriterium tiber ein elastisches Potential oder einen fluidalen Ansatz 
physikalisch motiviert oder iiber Diffusive- oder Curvature-Ansatze auf zeitlichen oder 
raumlichen Ableitimgen der Verriickung basiert. 

9. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass die 
Randbedingungen des Differentialoperators explizite oder implizite, Neumann-, Dirichlet-, 
sliding-, bending- oder periodische Randbedingungen sind. 
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10. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass die 
Art der Diskretisierung des Differentialoperators auf finiten Differenzen, finiten Volumen, 
finiten Elemente, Fourier-Methoden, Reihenentwicklung, Filtertechniken, KoUokationen oder 
Multigrid beruht. . 

11. Verfahren nach emem der vorhergehenden Ansprttche, dadurch gekennzeichnet, dass die 
Interpolation ^-dimensional fiber Splines oder Wavelets durchgefthrt wird. 

12. Verfahren nach einem der vorhergehenden Ansprttche, dadurch gekennzeichnet, dass die 
Verlrttckung explizit, tiber das Inkrement der Verrilckung oder deren Zeitableitung aufdatiert 
wird. 

13. Verfahren nach einem der vorhergehenden Ansprtlche, dadurch gekennzeichnet, dass fDr 
das Verfahren ein Referenzkoordinatensystem verwendet wird, das durch Euler- bzw. Lagran- 
ge Koordinaten abgebildet wird. 

14. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass die 
in dem Verfahren atiftretenden linearen Gleichimgssysteme direkt, indirekt, iterativ oder mit- 
tels Multigrid gelSst werden. 
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Initialisieaing des IterationszShlers 
und des initialen VerrQckungsfelds 



Numerische Losung der PDE fOr den 
Differentialoperator und den an den 
Kontrollpunkten lokalisierten 
Punktauswertefunktionalen 



Zusammenfassung der 
Interpolationsbedingungen 

I 



Berechnung einer spezielten 
numerischen L5sung der PDE fOr 
den Differentialoperator und der auf 
der aktuellen VerrQckung 
basierenden Kraft 



Auswertung der speziellen Losung 
an den Kontrollpunkten 



Bestimmung der Koeffizlenten zur 
Berechnung einer aktualisierten 
VenrQckung 



I 



Aufdatieren des VerrQckungsfelds 
und ErhOhen des Iterationszdhlers 



I 



OberprQfung der Verruckung auf 
Konvergenz 



T 
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Zusammenfassung 

Verfahren zur Bildregistrierung dutch iterative Bestimmung einer hinsichtlich eines vorgege- 
benen Distanz- und Glattheitskriteriums optimalen Transformation, bei dem in den Bildem 
korrespondierende Kontrollpunkte garantierbar aufeinander abgebildet werden, durch (1) Ini- 
tialisieren eines Iterationszahlers und des initialen Verriickungsfeldes, (2) Bestimmen der nu- 
merischen Losungen der nicht-lineaien partiellen Dififerentialgleichung (PDE) mit dem aus 
einem vorgegebenen Glatttieitskriterium ableitbarem Differentialoperator und den an vorge- 
gebenen KontroUpunkten lokalisierten Punktauswertefunktionalen, (3) Zusammenfassen der 
Interpolationsbedingungen, (4) Berechnen einer speziellen numerischen LSsxmg der PDE mit 
der auf der Basis des Distanzkriteriums und des aktuellen VerrOcksfeldes bestimmten 
Kraft und dem aus dem Glattheitskriterium abgeleiteten Differentialoperator, (5) Auswerten 
der speziellen Losung an den KontroUpunkten, (6) Bestimmen der KoefBzienten zur Berech- 
nung einer aktualisierten Verruckung, (7) Aufdatieren des Verriickungsfelds und Erliohen des 
Iterationszahlers, (8) tTberprufen der Verruckung auf Konvergenz xmd (9) bei Nichterftillen 
des Konvergenzkriterixmis emeutes Durchlauf der Schritte (4) bis (8), 
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Verfahren zur Bildiegistrierung 

Die Erfindung betrifft ein Verfahren zur Bildregistrienmg, also zur Korrektur von geo- 
metrischen Differenzen in unterschiedlich^ Darstellungen eines Objektes. Diese Vofah- 
ren spielen z.B. in der MedizLntechnik und insbesondere bei der Analyse von Gewebe- 
vertoderungen im Rahmen der Krebsfriiherkennung eine wichtige Rolle. 

Es sind bereits Verfahren bekannt, die eine Bildregistrienmg aufgrund eines Distanzkri- 
teriums durchfiihren (Lisa Gottesfeld Brown: A survey of image registration techniques, 
ACM Computing Surveys, 24(4): 325-376, 1992, Jan Modersitzki: Numerical Methods 
for Image Registration, Habilitation, Institute of Mathematics,- University of Lttbeck, 
Germany, 2002). Die allgemeine Methodik basiert auf der Optimierung einer anwen- 
dungskonform zu wShlenden Zielfunktion, die typischerweise auf Bildintensitaten ba- 
siert. Bei derartigen Verfahren werden auBer der Bildinformation keine weiteren Kennt- 
nisse zur Registrierung herangezogen. Das Ergebnis der Registrierung ist nur im Sinne 
einer globalen Mittelung optimal. Kommen in einer Anwendung speziellen, charakteri- 
stischen Punkten (wie z.B. in medizintechnischen Anwendungen den sogenannten ana- 
tomischen Landmarken) eine besondere Bedeutung zu, sind diese Verfahren ako nicht 
empfehlenswert. 

Neben der Bildregistrierung auf der Basis eines Distanzkriteriums sind auch Verfehren 
bekannt, die die Bildregistrierung ausschlieBlich auf der Basis von Konttollpunkten 
durchfiihren (Karl Rohr: Landmark-based Image Analysis. Computational Imaging and 
Vision. Kluwer Academic Publishers, Dordrecht, 2001). Bei diesen Verfehien werden 
den zu registrierenden Ansichten prospektiv oder letrospektiv korrespondieiende Kon- 
troUpunkte assoziiert, die dann mittels Registrierung zum Abgleich gebracht werden. Der 
Nachteil dieser Verfahren besteht darin, dass die Registrierung ausschliefilich Kontroll- 
punkte berucksichtigt. Weitere Bildinformationen wie z.B. BildintensitSten kSnnen bei 
diesen Verfahren nicht berUcksichtigt werden. Bei unbefriedigenden Registrierungser- 
gebnissen kann ein Anwender.. nur versuchen, das Ergebnis durch geschicktes Einfilgen 
weiterer KontroUpunkte zu verbessem. Das Einffigen weiterer Kontrollpunkte basiert auf 
subjektivem Ausprobiereru Hierzu gibt es keine Richtlinien und insbesondere kein auto- 
matisiertes Vorgehen. 
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Der Eiflndung Uegt die Aufgabe zugrunde, ein Verfehren zur Bildregistrienmg zu ent- 
wickeln, das sowohl zu einer perfekten, garantierbaren Korrespondenz einer AnzaM vor- 
gegebener Kontrollpunkte fiihrt, als auch zu einem im Sinne des Distanzkriterium opti- 
malen Ergebnis. 

Diese Aufgabe wird erfindungsgemaB gel6st durch iterative Bestimmung einer hinsicht- 
lich eines vorgegebenen Distanz- und Glattheitskriteriums optimalen Transformation, bei 
dem in den Bildem korrespondierende Kontrollpunkte garantierbar aufeinander abgebil- 
det werden, durch (1.) Mtialisieren eines Iterationszahlers und des initialen VerrOk- 
kungsfeldes, (2.) Bestimmen der numerischen Lfisungen der nicht-linearen partiellen Dif- 
ferentialgleichung (PDE) mit dem aus einem vorgegebenen Glattheitskriterium ableitba- 
rem Differentialoperator und den an vorgegebenen KontroUpunkten lokaUsierten Punkt- 
auswertefunktionalen, (3.) Zusammenfassen der Interpolationsbedingungen, (4.) Berech- 
nen einer speziellen numerischen LSsung der PDE mit der auf der Basis des Distanzkiite- 
riums und des aktuellen Verriickungsfeldes bestimmten Kraft und dem aus dem 
Glattheitskriterium abgeleiteten Differentialoperator, (5.) Auswerten der spezieUen L6- 
sung an den KontroUpunkten, (6.) Bestimmen der KoefSzienten zur Berechnung einer 
aktuahsierten Verriickung, (7.) Aufdatieren des Verriickungsfelds und Erh5hen des Itera- 
tionszahlers, (8.) tJberpriifen der Vemickung auf Konvergenz und (9.) bei NichterftiUen 
des Konvergenzkriteriimas emeutes Durchlauf der Schritte (4.) bis (8.). 

Der Verfehrensablauf wird durch das FluBdiagramm der Figur 1 beschreibend abgebil- 
det. 

Zur Vereinfachung bezeichnen wir dne Ansicht als ReferenzbUd (Referenz R) und eine 
weitere, zu korrigierende Ansicht als Template (Template T). Formal handelt es sich 
hierbei um Funktionen eines iWimensionalen reellen Raumes bzw. einer Teilmenge 
Q c R'' in die Menge der reellen Zahlen. Jedem ^/-dimensionalen Punkt xeQ wird also 
durch ^(af)und Tix) ein Wert zugewiesen, der z3. als Farb- oder als Giauwert interpre- 
tiert werden kann. 

In praktischen Anwendungen - insbesondere bei jeder Programmierung des hier erlSuter- 
ten Verfahrens - kSnnen Referenz und Template in diskreter Form vorliegen. Die Bilder 

sind dann Funktionen auf einem Gitter(z.B. Q = {l Hi}x{i,...,«,}} flh: die Dimension 

^ = 2) in eine diskrete Menge (z.B. in die Menge {0,...,255}) und kSnnen als aus Pixehi 
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aufgebaut interpretiert werden. Fur das Registrierungsverfahren sind diese EinschrSn- 
kungen und insbesondere die konkrete Art der Diskretisierung unerheblich und unwe- 
sentlich. Die Einschr§nkungen werden lediglich zum Zwecke einer vereinfachten Be- 
schreibung vorgenommen. Das Verfahren iSsst sich analog auf beliebige </-dimensionale 
DatensStze anwenden. 

Die Aufgabe der Bildregistrierung besteht in der Bestimmung einer VeirOckungsfiinktion 
«, so dass die Fordertmg R(x) = T„(x) mit der Abkiiizung T„(x) >=T(x-uixy) fOr alle 
X e Q mSglichst gut eifiillt wird. Zur Berechnung des durcli u deformierten Templates 
T„ wild bei diskret vorgegebenen Bildem wie in der Bildverarbeitung allgemein iiblich 
eine Interpolation (z.B. d-linesa:) durchzufiihren sein, da die verrQckten Koordinaten 
x-«(x) nicht notwendig auch auf dem diskreten Gitter liegen mflssen. Wie eine solche 
Interpolation erfolgt, ist ftlr das Registrierungsverfahren nicht wesentlich. 

Ober die oben formulierte Ahnlichkeit hinaus mflssen sowohl Forderungen an die 
Glattheit der Verrflckung gestellt werden sowie an Abbildungseigenschaften in Bezug 
auf eine Anzahl von vorab gewahlten KontroUpunkten. Im einfachsten Fall sollen die 
Koordinaten jedes der m Kontrollpunkte K^--' des Templates auf den jeweils koirespon- 
dierenden KontroUpunkt K'^-J der Referenz abgebildet werden, 7 =l,...,w. Stimmendie 
Koordinaten der Kontrollpunkte bereits Uberein, was ggf. durch eine Vorregistrierung 
gewShrleistet werden kann, so gilt also k = 0 in diesen Punkten. 

Wie bei Optimierungsproblemen ablich kann die Bestimmung eines Minimierers des 
oben gaiannten Distanzkriteriums mittels eines GradiMitenabstiegsverfahren in iterativer 
Weise ©rfolgen. Ln Prinzip kann hierbei jedes beliebige Distanzkriterium gewahlt wer- 
den. Die den gSngigen Distanzkriterien assoziierten KrSfte finden sich in der Literatur 
(Modersitzki 2002). Die konkrete Art der Berechnung dieser KrSfte ist fUr das Registrie- 
rungsvofahren jedoch nicht wesentlich. 

Als Glattheitskriterium kann wiederum prinzipiell jedes aus der Literatur bekannte Funk- 
tional genutzt werden. Aus dem Glattheitskriterium iSsst sich ein partieller Differential- 
operator A ableiten. Ftir die in der Literatur verwendeten Kriterien sind diese Operatoren 
bekannt (Modersitzki 2002). Die gesuchte Verrflckung u iSsst sich dann als L6sung einer 
nicht-linearrai partiellen Differentialgleichung (PDE) charakterisieren. 
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Zur Bestimmung einer niimerischen L6sung dieser PDE verwenden wir eine finite Diffe- 
renzen Approximation des Diflferentialoperators, die dann auf ein Gleichungssystem fiir 
die Gitterwerte der Verriickung fOhrt. Die konkrete Diskretisienmg der Differentialglei- 
chung ist jedoch fOr das R^istrierungsvetfehren ohne Bedeutung. 

Diese Vorgehensweise deckt sich mit dem Verfahren fiir die ausschlieBlich auf dem Di- 
stanzkriterium und dem Glattheitskriterium basierende Methode. Der neue Aspekt be- 
steht in einer geagneten Einbindung d&c vorgegebenen Kontrollpunkte in die Betech- 
nung der Verriickung, bei der eine Korrespondenz der Kontrollpunkte gaiantiert werd^ 
kann. Da bereits Verfahren zur Bestimmung der VerrOckung auf der Basis des Distanz- 
und des Glattiheitskriteriums bekannt sind, geben wir ein Verfehren an, welches Teillo- 
sungen in geeigneter Weise zu einer Gesamtl5sung kombiniert, z.B. als 

Bezeichnet A den zum Glattheitsterm gehorigen Differentialoperator und / das zum Di- 
stanzkriterium gehSrige Kraftfeld, dann ist v° eine numerische LSsung von Av° = ~f , 
die Funktionen sind numerische Losungen der distributionellen PDE Av^ =5^ , 

J = 1 wobei das Punktauswertefunktionai (Dirac-Sto6) lokalisiert am KontroU- 

punkt K'^'J bezeichnet Die konkrete numerische Methode fOr die L6sung der PDE ist 
ffir das Registrierungsverfehren unerheblich. 

Aus mathematischer Sicht sind die v-',/ = l,...,w, Gieensche Funktionen des Dififerenti- 
aloperators A, die eine L6sung der PDE bei vorgegebener Einzelpunktverriickung dar- 
stellen. Eine ^ignete Linearkombination dieser Greenschen Funktionen stellt daher si- 
cher, dass bei dem Gesamtverfahren alle Kontrollpunkte wie gefordert aufeinander abge- 
bildet werden. 

Die Funktion v° wird tiber ein iteratives Verfahren so bestinnnt, dass das Distanzkriteri- 
um unter Einhaltung der geforderten Glattheit minimiert wird. Die Gewichtsfektoren X) 
werden dabei so angepasst, dass die Kontrollpunkte in der geforderten Weise abgebildet 
werden. 

Die Initialisierung des Programms erfordert die Wahl eines Distanz- und ernes 
Glattheitskriteriums bzw. der aus diesen Kriterien ableitbaren Kraft und des Differential- 
operators. Auf der Basis der an den Kontrollpunkten lokalisierten Punktauswertefiinktio- 
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nale kQmien dann die Greenschen Funktionen v^y = 1 m mit einem numerischen Ver- 

fahren bestimmt warden. Diese werden im weiteren Verlauf des Verfahrens nicht mehr 
geandert 

Der erfindungsgemafien Mtialisierung folgt eine gSngige Iterationsprozedur, in deren 
Verlauf ein Gradientenabstieg unter Berttcksichtigung der KontroUpunkte durchgeftairt 
wird. Menschliches Eingreifen ist nicht von NSten. Das beschriebene Verfehren kombi- 
niert also die Vorteile der auf Distanzkriterien basierenden Methoden (also insbesondere 
die Automatisierbarkeit und eine im Mittel optimale Registrierung) mit denen des Kon- 
trollpunktverfehiCTs (garantierte Registrierung ausgezeichneter Pvinkte) und Uefert bei 
Vorgabe eines initialen Satzes von KontroUpunkten reproduzierbaie, optimale Ergebnis- 
se unabhSngig vom Anwender bzw. Computerprogramm. E)ie Details des Compvrterco- 
des spielen ftir das Endergebnis der BUdregistrierung keine wesentliche RoUe imd beein- 
flussen nur die benfitigte Rechenzeit und die Speicheranfoiderungen. 

Bei den zu registrierenden Bildem kann es sich um digitale Bilder, Pixel, JPEG, wavelet 
basierte Objekte oder akustische Signale handeln. 

Die in dem Verfahren auftretenden linearen Gleichungssysteme kSnnen direkt, indirekt, 
iterativ oder mittels Multigrid gelost werden und es kann flir das Verfehren ein Refe- 
renzkoordinatensystem verwendet werden, das durch Euler- bzw. Lagrange-Koordinaten 
abgebildet wird. 

lin fibrigen schlSgt die Erfindung vor ein-, zwei- oder drei-dimensionale sowie Sequen- 
zen von ein-, zwei- und drei-dimensionalen Objekten zu registrieren, und KontroUpunkte 
zu verwenden, die anatomische Landmarken, fiducial marker oder andere charakteristi- 
sche Kenngrdfien sind. 

Als Distanzkriterium wird ein solches vorgeschlagen, dafi auf Intensitfits-, Kanten-, Ek- 
ken-, Oboilachennormalen- od&c Level-Set basiert oder auf der ,Sum of Squared Diffe- 
rences', i2-Distanz, Korrelation, Varianten der Korrelation, Mutual-Information odec Va- 
rianten der Mutual-Information beruht 

Die dem DistanzmaB assoziierten Kraftterme sollten fiber Finite-Diffeienzen-Verfehren 
oder Gradientenbildung berechnet werden vrnd das verwendete Glattheitskriterium aber 
ein elastisches Potential oder einen fluidalen Ansatz physikalisch motiviert sein oder 
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fiber Diffusive oder Curvature-Ansatze auf zeitlichen oder raumlichen Ableitungen der 
Verriickung basieren. 

Die Randbedingungen des Dififerentialoperators sollten vorteilhafterweise iiber explizite 
Oder implizite, Neumann-, Dirichlet-, sliding-, bending- oder periodische Randbedingun- 
gen gegeben sein. 

Die Art der Diskretisierung des Dififerentialoperators sollte auf finiten Dififerenzen, fini- 
ten Volumen, finiten Elemente, Fourier-Methoden, Reihenentwicldung, Filtertechniken, 
Kollokationen oder Multigrid beruhen und die Interpolation rf-dimensional tiber Splines 
Oder Wavelets durchgeftlhrt werden. 

SchlieiJlich kann die Verriickung explizit Qber das Inkrement der VerrQckung oder deren 
Zeitableitung aufdatiert werden. 
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Patentansprilche 



1 . Verfahren 2xir Registrierung von Bildem durch iterative Bestimmung einer hinsichtlich 
eines vorgegebenen Distanz- iind Glattheitskriteriums optimalen Transformatioii, da- 
durch gekennzeichnet, dass 

in den Bildem korrespondierende Kontrollpunkte garantierbar aufeinander abgebildet 
werden, durch 

(1) Initialisieren eines Iteradonszahlers und des initialen Verruckungsfeides, 

(2) Bestimmen der numerischen Losungen der nicht-linearen partiellen Differentialglei- 
Chung (PDE) mit dem aus einem vorgegebenen Glattheitskriterium ableitbarem Dif- 
ferentialoperator und den an vorgegebenen Kontrollpunkten lokalisierten Punktaus- 
wertefunktionaien, 

(3) Zusammenfassen der hiterpolationsbedingungen, 

(4) Berechnen einer speziellen numerischen Losung der PDE mit der auf der Basis des 
Distanzkriteriimis und des aktuellen Verruckungsfeldes bestimmten Kraft und dem 
aus dem Glattheitskriterium abgeleiteten DiSerentialoperator, 

(5) Auswerten der speziellen L5sung an den Kontrollpunkten, 

(6) Bestimmen der KoefiSzienten zur Berechnung einer aktualisierten Verrttckung, 

(7) Aufdatieren des Verruckungsfelds und Erhdhen des Iterationsz9hlers, 

(8) tJberpriiFen der Verruckung auf Konvergenz und 

(9) bei Nichterfiillen des Konvergenzkriteriums emeuter Durchlauf der Schritte (4) 
bis (8). 



wo 2004/047024 



-8- 



PCT/DE2003/003805 



2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein- zwei- oder drei- 
dimensionale sowie Sequenzen von ein-, zwei- und drei-dimensionalen Objekten regi- 
striert werden. 

3. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass 
die KontroUpunkte anatomische Landmarken, fiducial marker oder andere charakteristi- 
sche Kenngrdfien sind. 

4. Verfahren nach einem der vorhergehenden AnsprQche, dadurch gekennzeichnet, dass 
das Distanzkriterium Intensitats-, Kanten-, Ecken-, Oberflacheimormalen- oder Level-Set 
basiert oder auf der Sum of Sqxiared Differences, i^-Distanz, Korrelation, Varianten der 
Korrelation, Mutual-Information oder Varianten der Mutual-Infonnation beruht. 

5. Verfahren nach einem der vorhergehenden AnsprUche, dadurch gekennzeichnet, dass 
die dem Distanzmafl assoziierten Krafttenne fiber Finite-Differenzen-Verfahren oder 
Gxadientenbildung berechnet werden. 

6. Verfehren nach einem der vorhergehenden Ansprttche, dadurch gekennzeichnet, dass 
das verwendete Glattheitskriterium fiber ein elastisches Potential oder einen fluidalen 
Ansatz physikalisch motiviert oder fiber Diffusive oder Curvature-AnsStze auf zeitlichen 
oder rSumlichen Ableitungen der Verrttckung basiert. 

7. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass 
die Randbedingungen des Differentialoperators e3q)lizite oder implizite, Neumann-, Di- 
richlet-, sliding-, bending- oder periodische Randbedingungen sind. 

8. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass 
die Art der Diskretisierung des Differentialoperators auf jBniten Differenzen, finiten Vo- 
lumen, finiten Elemente, Fourier-Methoden, Reihenentwicklung, Filtertechniken, KoUo- 
kationen oder Multigrid beruht. 
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9, Verfahren nach einem der vorhergehenden Anspniche, dadurch gekennzeichnet, dass 
die Interpoladon ^/-dimensional fiber Splines oder Wavelets durchgefuhrt wird, 

10. Verfahren nach einem der vorhergehenden AnsprQche, dadurch gekennzeichnet» dass 
die Verrttckung explizit fiber das Inkrement der Verrttckung oder deren Zeitableitung 
aufdatiert wird 
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fnitiallsierung des Iterationszahlers 
und des initialen VerrQckungsfelds 



Numerische Losung der PDE filr den 
Differentialoperator und den an den 
Kontrollpunkten lokalisierten Punkt- 
auswertefunktionalen 



Zusammenfassung der Interpolati- 
onsbedingungen 



Berechnung einer spezielien numeri- 
schen Ldsung der PDE fDr den Diffe- 
rentialoperator und der auf der aktu- 
ellen VerrQckung basierenden Kraft 



Auswertung der spezielien Ldsung 
an den Kontrollpunkten 



Bestlmmung der Koeffizienten zur 
Berechnung einer aktualisierten 
VerrQckung 



Aufdatieren des VenrQckungsfelds 
und Erhdhen des IterationszShlers 



OberprQfung der VerrQckung auf 
Konvergenz 
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